Dataphin执行Spark_jar_on_hive任务变量拼接有空格

更新时间:

问题描述

新建Spark_jar_on_hive任务,执行结果中任务变量拼接由空格。

问题原因

这个是sparkJarOnHiveOperator,解析逻辑是split后拼接成spark-submit命令,但是这个用户是在写Shell,如果是Shell的话, 需要使用ShellOperator。

解决方案

新建Shell任务进行拼接就可以了。

适用于

  • Dataphin